メタデータを使用してより低い複雑さの複数ビットレートビデオ符号化を実行する方法及び装置

专利摘要:
第１ビットレートでの第１のビデオ符号化がオリジナルビデオソース材料に基づいて実行され、第１のビデオ符号化が符号化プロセスに関するメタデータを生成し、保存する、複数ビットレート（ＭＢＲ）ビデオ符号化システム。通常のブロックベースの動き補償付きビデオ符号化技法では、このメタデータは動きベクトル及び誤差情報を含むブロック動き検索情報を備える場合がある。この保存されたメタデータは、その後、異なるビットレートでの１つ以上の後続符号化中に、異なるビットレートで複数のビデオ符号化を生成するのに使用される。この手法は、各ビットレートで独立に符号化することによるものより効率的なＭＢＲビデオ符号化システム実現をもたらす。
公开号:JP2011512047A
申请号:JP2010532012
申请日:2008-10-20
公开日:2011-04-14
发明作者:コルテス，マウリシオ；マクゴワン，ジェイムズ，ウイリアム
申请人:アルカテル−ルーセント ユーエスエー インコーポレーテッド；
IPC主号:H04N7-32

专利说明:

[0001] 本発明は概略として複数ビットレートでのビデオ符号化の分野に関し、より具体的には、複数ビットレートビデオ符号化を実行する、より低い複雑さの方法及び装置に関する。]
背景技術

[0002] 複数ビットレート（ＭＢＲ）ビデオ符号化は時間変動する帯域幅を有するネットワーク上でビデオを送達するのに有用な近代圧縮技法である。ＭＢＲコーデック（符号器／復号器システム）は、例えば、インターネット上でビデオを供給するのに使用され、ユーザが使用可能な帯域幅が経時的に劇的に変化するモバイル無線ネットワーク上でもクリティカルである。例えば、３ＧＰＰ標準規格組織は、全てのＨｉｇｈ Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ（ＨＳＤＰＡ）端末の標準規格としてＭＢＲ戦略を採用しようとしており、この戦略は、ストリーミングビデオを提供する主要ベンダからの独占的ストリーミングフォーマットの基礎となる。ＭＢＲビデオ符号化技法は、ビデオ信号のビットレートが、品質を優雅に調整しながら変化するネットワーク条件に適合できなければならないので有用である。]
[0003] 具体的には、ＭＢＲビデオ符号化技法は通常、それぞれが同一のビデオソース材料から生成される複数のビデオシーケンス（又は「コピー」）を作成すること、及び切替点の共通セットを有し、これによってビデオシステムがコピーの間で切り替えられるようにすることによって、ネットワーク条件に対するそのような適合性を提供する。従って、ネットワーク条件が変化する時に必ず、再生機構は有利なことに使用可能な帯域幅に最もよく一致するコピーをストリーミングする。異なるビットレートを有する２つのビデオコピーの間でシームレスに切り替えるための戦略は通常のものであり、当業者に周知である。]
[0004] より具体的には、通常のＭＢＲビデオシステム実現では、同一のビデオシーケンスの複数のコピーが異なるビットレートで事前に符号化され、再生システムはどのビデオシーケンスを表示すべきかをフレームごとに選択する。ある種のフレームだけが、復号器が異なるストリームの受信を開始し、それでも知覚できるビデオを再作成することができる有効な「切替点」である。しかし、現況技術のシステムは、オリジナルビデオソース材料だけに基づいて「ゼロから」各ビデオシーケンスを毎回各要求されたビットレートで独立に符号化し、どのフレームが複数の符号化の間の切替点として使用できるのかに関する情報だけを共有する。この手法はビットレートごとに最高の可能な品質をもたらすが、オリジナルビデオソース信号が「ゼロから」複数回符号化されるので、計算的に非効率的である。]
課題を解決するための手段

[0005] 本発明人は、最初にオリジナルビデオソース材料から第１ビットレートで「第１の」符号化されたビデオシーケンスを生成するが、その後、「第１の」符号化（即ち、第１ビットレートでの第１の符号化されたビデオシーケンスの生成）から得られたある種の（例えば、中間）結果に少なくとも部分的に基づいて第１ビットレートとは異なるビットレートを有する他の符号化されたビデオシーケンスを有利に生成することによって、重大な効率をＭＢＲビデオシステム実現で得ることができることを認識した。より具体的には、本発明人は、通常のブロックベースの動き補償付きビデオ符号化技法において、大量の符号化複雑さ及び大量のコーディング効率が、符号器がフレームの間で移動したピクセルのブロックの検索を実行することの結果として発生することを認識した。この検索の結果は、理論的には、異なるビットレートで符号化されたバージョンの間で異なる可能性がある（これがほとんどのＭＢＲビデオシステム符号器設計での要因であった）が、最良の又は最良に近い動きベクトルは全てのバージョンの間で同一であることが多い。]
[0006] 具体的には、本発明の例示的実施形態によれば、第１のビデオ符号化はオリジナルビデオソース材料に基づいて実行され、第１のビデオ符号化は、とりわけ、符号化プロセスに関するメタデータを生成し、提供する。例えば、通常のブロックベースの動き補償付きビデオ符号化技法では、このメタデータは、動きベクトル及び誤差情報を含むブロック動き検索情報を有利に備えることができる。本発明の原理によれば、このメタデータは、１つ以上の後続符号化（異なるビットレートでの）中に、より効率的なＭＢＲビデオ符号化システム実現を提供するのに使用される。]
図面の簡単な説明

[0007] ＭＢＲビデオ符号化システムの実現に関する従来技術のプロセスを示す図である。
本発明の例示的実施形態によるＭＢＲビデオ符号化システムの実現に関するプロセスを示す図である。
ビデオコーディング標準規格Ｈ．２６４に関連して使用できるさまざまなブロック構造を示す図である。図３Ａは単一の１６×１６ブロックを示し、図３Ｂは２つの８×１６ブロックを示し、図３Ｃは２つの１６×８ブロックを示し、図３Ｄは４つの８×８ブロックを示し、図３Ｅは８つの４×８ブロックを示し、図３Ｆは８つの８×４ブロックを示し、図３Ｇは１６個の４×４ブロックを示す。
例えばビデオコーディング標準規格Ｈ．２６４などの従来のブロックベースの動き補償付きビデオ符号化技法での動きベクトルを導出する従来技術の手法を示す図である。
本発明の例示的実施形態による、第１のビデオ符号化プロセスからのメタデータ結果を生成し、格納する方法を示す図である。
本発明の例示的実施形態による、第１のビデオ符号化プロセスから生成されたメタデータ結果を使用する後続のビデオ符号化プロセスを実行する方法を示す図である。] 図３Ａ 図３Ｂ 図３Ｃ 図３Ｄ 図３Ｅ 図３Ｆ 図３Ｇ
実施例

[0008] 図１に、ＭＢＲビデオ符号化システムの実現に関する従来技術のプロセスを示す。まず、ソースビデオ１１及びｎ個の所望のビットレートのシリーズ内の第ｉビットレート（ブロック１２によって選択される）が符号器１３に供給され、この符号器１３はビデオの第ｉの符号化されたコピーを生成し、ここで、ｉ＝１，２，…，ｎである。判断ブロック１４によって判定されるように、符号化すべき別のビットレートがある場合には、このプロセスは、シリーズ内の次のビットレートの選択を伴ってブロック１２で繰り返される。ｎ個全てのビットレートが符号化されている場合に、このプロセスは終了する。情報が、符号化の間で保存されず、実際に、互いに独立であり他の符号器によって生成される全ての情報から独立の完全に別々の符号器を使用して、ビデオの各符号化されたコピーを生成できることに留意されたい。] 図１
[0009] しかし、本発明の原理によれば、これらのビデオ符号化のうちの第１の符号化によって生成されたコーデック情報の一部が、ビデオの結果の符号化されたコピーと一緒にメタデータとして有利に保存される。次に、この保存されたメタデータは異なるビットレートでの後続符号化で有利に使用される。実例として、通常のブロックベースの動き補償付きビデオ符号器と共に使用するために、このメタデータは、例えば、第１のビデオ符号化によって実行された動き検索の結果を含むことができる。]
[0010] 図２に、本発明の例示的実施形態によるＭＢＲビデオ符号化システムの実現に関するそのようなプロセスを示す。通常、及び最も有利には最高品質のビットレートである、符号化される第１ビットレート（ブロック２２によって選択される）が、ソースビデオ２１と共に符号器２３に供給される。本発明の原理によれば、符号器の出力２４は、符号化されたビデオと符号化プロセスによって生成されたメタデータ（例えば、動き検索結果）との両方を含む。次に、やはり本発明の原理によれば、これらのデータは第ｉビットレート（ブロック２５によって選択される）と一緒に符号器２６（符号器２３と同一又は異なるものとすることができ、あるいは、一連の複数の符号器を備えることができる）に繰り返して供給され、これが、ビデオの第ｉの符号化されたコピーを生成し、ここで、ｉ＝２，３，…，ｎである。最後に、判断ブロック２７によって判定されるように、符号化すべき別のビットレートがある場合には、このプロセスはシリーズ内の次のビットレートの選択を伴ってブロック２５で繰り返される。ｎ個全てのビットレートが符号化されている場合に、このプロセスは終了する。] 図２
[0011] 説明を続けると、通常のビデオ符号器の動作に関するいくつかの一般的な情報を再検討することが適当である。例えば、それぞれが当業者に十分に馴染みのある、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、及びＨ．２６４を含む全ての一般的な標準化されたビデオ符号器はブロックベースであり、これは、これらの符号器が単一のビデオフレームをピクセルの長方形（８×８又は１６×８その他などのサイズの）に分割することを意味する。そのようなブロックごとに、そのブロックに「イントラコーディング」又は「インターコーディング」のいずれを行うべきかの判断が行われる。イントラコーディングは、ブロックのピクセル値がビデオの他の部分への明示的参照なしで独立に表されることを意味する。その一方で、インターコーディングは、各ブロックが通常は異なるフレームに含まれる別のブロックへの参照を用いて表されることを意味し、従って、対応する復号器は第２ブロックを復号するために第１ブロックを復号しなければならない（あるタイプのフレームが、意図的に順序はずれでコーディングされるので、場合によっては、「第１」ブロックが、「第２」ブロックを含むフレームより後のビデオのフレームであるフレームの一部である場合がある）。]
[0012] イントラコーディングは、適度に類似するブロックをインターコーディングの場合に見つけることができるならば、インターコーディングよりはるかに多くのビットを使用する。これは、あるブロックを別のブロックに関して表すために別のブロックを識別し、それらのブロックの間の差を指定することだけが必要になるからである。そのような適度に類似するブロック（即ち、「一致」）を見つけるために、インターコーディングは、コーディングされるブロックが１つ以上の異なるビデオフレーム内の多数の異なる位置のブロックと比較されるコストの高い３次元検索を用いる。次に、近い一致が見つかる場合に、その２つのブロックの間の絶対差又は「誤差」は、ほとんどゼロになり（従って、周知のエントロピコーディング技法を使用して非常に効率的にコーディングでき）、「動きベクトル」を、２つのフレームの間でのブロックの変位を示すのに使用することができる。インターコーディングされたブロックを再作成するためには、復号器は、単純に誤差ブロックを復号し、これを動きベクトルによって示される以前に復号されたブロックに加算しなければならない。]
[0013] 一致の品質は、誤差ブロックの符号化にどれほどコストがかかるか（及びはるかに少ない範囲で、動きベクトルのサイズ）によって判定される。良い一致を見つけることができないブロックは効率的に表すことができない誤差ブロックを有し、従って、そのブロックは、より好ましくはイントラコーディングされるはずである。しかし、しばしば大量の動き又はシーン変化に起因してフレームの間に相関がほとんどないときには、符号器は、しばしばイントラコーディングすると判断し、この場合には、符号器はターゲットビットレートを十分に超える可能性がある。従って、符号器は、誤差ブロックを粗く表すのみである間はインターコーディングすることを強制され、視覚的劣化をもたらす場合がある。]
[0014] 例えば、ＭＢＲ符号化技法を特にサポートするＨ．２６４では、コーディング利得は、ブロックサイズをより小さいブロックのセットとして扱うことを可能にすることによって高められる。これは「検索空間」を大幅に増やす。というのは、Ｈ．２６４符号器が最良一致を検索しなければならない変化するサイズの４１個までの異なるブロックがあるからである（下の図３の議論を参照されたい）。] 図３
[0015] 検索は通常、１６×１６ピクセル検索ブロックから開始され、ＳＡＤ（Ｓｕｍ ｏｆ ｔｈｅ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ；絶対差の総和）が、検索ブロック内のピクセルとターゲットブロックのそれぞれのピクセルとの間で計算される。頻繁に、符号器は異なるフレーム内の同一位置の同一ブロックに対して、又は周囲のブロックの平均動きベクトルオフセット内のブロックに対して、ターゲットブロックのＳＡＤを計算することによって開始する。また、ＳＡＤはこれらのターゲットを囲むブロック又は他の場所のブロックのいずれかについて、近い一致が見つかるまで調べられる（網羅的検索は計算的に手に負えないので、それぞれが当業者に十分に馴染みのある階層的検索、「ダイヤモンド」検索、及びヒューリスティック検索を含む多数の動き検索戦略があることに留意されたい）。サブピクセル補間を使用して、ピクセルのある非整数配置（例えば、左に２．５ピクセル、下に３．７５ピクセル、後ろに１フレーム）でより良い一致が見つかるかどうかを判定することができる。この全てが現在のフレームと基準フレームのセットとの間で行われる。]
[0016] これらの最良一致のいずれかの間のＳＡＤがゼロを超え、完全未満の一致が示される場合には、符号器は、例えばブロックを階層的に分割することによって検索を継続することができる。図３に、ビデオコーディング標準規格Ｈ．２６４に関連して使用できるさまざまなブロック構造を示す。この図に示されているように、まず、１６×１６ブロック（図３Ａに図示）が検討され、動き検索が、広範囲のブロック及び基準フレームにまたがって実行される。一致が十分に小さいＳＡＤをもたらさない場合には、２つの８×１６（図３Ｂに図示）のそれぞれ及び２つの１６×８ブロック（図３Ｃに図示）のそれぞれで２つの別々の動き検索が検討される。これらのどれもが十分に低いＳＡＤをもたらさない場合には、４つの８×８ブロックのセット（図３Ｄに図示）について、動き検索を検討する。検索は、十分に小さいＳＡＤが見つかり、従って早めに階層を終えるまで、又は１６個の別々の４×４動き検索が実行されるまで（図３Ｇに図示）、より小さいブロック（図３Ｅ及び３Ｆに図示）を介して継続する。この検索の終りに、最も効率的にコーディングできる一致が選択され、符号器は符号化すべき次のブロックに対してこのプロセス全体を繰り返す。符号器が、エントロピコーディングされる時の誤差ブロックのサイズや動きベクトルを送達するのに必要なビット数（動きベクトルの数が増える時に必ずより大きくなる）にも重みを付けなければならないことに留意されたい。] 図３ 図３Ａ 図３Ｂ 図３Ｃ 図３Ｄ 図３Ｅ 図３Ｇ
[0017] 検索空間を狭めるのに使用できる多数の最適化及び戦略があり、その多くは周知であり、当業者に十分に馴染みのあるものである。しかし、従来技術のＭＢＲビデオ符号化システムについて、副符号器から現在使用可能な最大の情報は、主符号化が使用可能であると仮定して、主符号化で最終的に選択された動き検索の結果である。言い換えると、全ての符号器は、以前に符号化されたストリームを受け取ると仮定して、インターコーディングされたブロックの動きベクトル及び誤差ブロックを知っている。これらの誤差ブロックからはオリジナルＳＡＤを推定することしかできない。というのは、量子化誤差及び丸め誤差が、オリジナルに完全には一致しない復号されたピクセルをもたらすからである。]
[0018] この教育的戦略の中では、より低品質のストリームが、イントラコーディングされたブロックの個数だけ異なる可能性があることが明らかになる。これらの判断は主コピーを作るビデオ符号器で行われ、従来技術のシステムでは、追加コピー（異なるビットレートの）を作る符号器には入手不能である。実際に、動き分解全体は、これらの検索が広範囲のビットレートにまたがって各コピー内で最良の結果である可能性が高い場合であっても、従来技術のＭＢＲシステムによって破棄される。さらに、より低品質のコピーを作る符号器は、より少数の動きベクトルを使用するより疎なコーディングに関連する誤差が、現在は適当であると判断する場合がある。本発明の例示的技法によれば、保存されたメタデータを使用することによって、多くのブロックについて検索を完全に回避することができ、これによって、従来技術の最適化された検索戦略に関する符号器での複雑さを減らす（９０％以上もの多さで）ことができる。本発明のある種の例示的実施形態によれば、ＳＡＤ情報を使用して追加の複雑さ削減を達成することができ、このＳＡＤ情報は、階層内のどの動きベクトルが最良推定値をもたらす可能性が高いかを判定するのに有利に使用することができる。]
[0019] より具体的には、本発明の原理及び本発明のある種の例示的実施形態によれば、動き検索情報はビデオの符号化されたコピーとともにメタデータとして保存される。実例として、動き検索情報を、階層的分解の中間結果や最終的にイントラコーディングされるブロックの最終結果の両方について保存することができる。これらのそれぞれについて、動きベクトルとＳＡＤとの両方を有利に保存することができる。次に、このメタデータを同一の又は別の符号器によって使用して、別のビットレート符号化の作成の複雑さを実質的に減らすことができる（通常は、他の最適化戦略と共に使用される時であっても半分未満）。動きベクトルは、全ての符号化されたビデオコピー内の動きベクトルに関する可能性の高い（保証はされないが）最良一致を表すので有利に保存される。ＳＡＤは、動きベクトルが後続コピー内の良い一致になる尤度をランキングするのに有利に使用できる（下の議論を参照されたい）。]
[0020] 本発明のある種の例示的実施形態によれば、このメタデータに単一の高品質コピーを加えたもののサイズは、有利なことに異なるビットレートのコピーの全集合より少ない場合がある。コーデックの初期動き検索及び分解に関するこの明示的情報を使用することによって、ビデオ品質及び符号化効率を、例えばインターコーディングされたブロックの動きベクトルなど、ビデオ自体に既に暗黙のうちに格納されている情報を調べる代替技法よりよくすることができる。言い換えると、本発明の原理に従って格納されたメタデータがない場合であっても、コーデックは理論上、インターコーディングされたブロックの動きベクトルを使用して一致について単純にチェックし、それが働く場合にはそれをもう一度使用することができる。しかし、本発明の上で説明した例示的実施形態によれば、例えば階層的分解中に生成された動きベクトルなど、動きベクトルが破棄される時であっても動きベクトルを使用するという追加のオプションも利用可能である。]
[0021] 図４に、例えばビデオコーディング標準規格Ｈ．２６４などの従来のブロックベースの動き補償付きビデオ符号化技法での動きベクトルを導出する従来技術の手法を示す。具体的に言うと、この図は、ある範囲の可能な一致するターゲットブロックに対するイメージ内の単一のソースブロックの、この従来技術の動きベクトル検索プロセスを示す。] 図４
[0022] まず、符号化されるイメージ内の単一のソースブロック（任意のサイズの）を与えられて、この流れ図のブロック４１は変数ＬＯＷを非常に大きい数（即ち、次の流れ図ブロックで計算されるＳＡＤの全ての可能な値の範囲を超える数）にリセットする。この流れ図のブロック４２では初期ターゲットブロック又は後続検索ブロックを選択する。例えば、この目的に使用できる、それぞれが当業者に十分に馴染みのある網羅的検索、「ダイヤモンド」検索、及びヒューリスティック検索など、多数の周知の文書化された方法がある。]
[0023] ターゲットブロックが選択された後に、この選択されたブロック及び所与のソースブロックを使用してＳＡＤを計算する（この流れ図ではやはりブロック４２で）。この流れ図のブロック４３によって判定されるように、ＳＡＤが変数ＬＯＷの値未満である（最初の反復では必ずそうなる）場合には、この流れ図のブロック４４で、変数ＬＯＷをＳＡＤにセットし、ターゲットブロックの動きベクトル表現を格納する。さらに（ＳＡＤが変数ＬＯＷの値未満と判定されたとき）、この流れ図のブロック４５は、変数ＬＯＷの値が所定の閾値ε（「イプシロン」）未満であるかどうかを判定し、ここで、イプシロンは、例えば、サブブロック内のピクセルの個数の半分である。そうである場合には、符号器は、継続される検索によってより良い一致は見つからない（又は見つける必要がない）と仮定し、検索を停止する。]
[0024] その一方で、変数ＬＯＷがイプシロン以上であると判定される（この流れ図のブロック４５で）場合、又はこの流れ図のブロック４３でＳＡＤがＬＯＷ以上であると判定された場合には、検索はこの流れ図のブロック４７で継続され、ブロック４７は、さらなるターゲットブロックが使用可能であるかどうか（即ち、検索すべきブロックがまだあるかどうか）を確かめる。検索すべきブロックがまだある場合には、このプロセスは、流れをこの流れ図のブロック４２に戻すことによって次のターゲットブロックについて繰り返し、このブロック４２はこの次のターゲットブロックについてＳＡＤを計算する。その一方で、変数ＬＯＷがイプシロン未満である（とこの流れ図のブロック４５で判定される）場合、又は検索すべきブロックがもうない（とこの流れ図のブロック４７で判定される）場合のいずれかにこのプロセスは停止し、動きベクトルは、見つかった最良一致に従ってセットされ、ＬＯＷ変数はその一致の対応するＳＡＤを保持する。]
[0025] 図５に、本発明の例示的実施形態による、第１のビデオ符号化プロセスからのメタデータ結果を生成し、格納する方法を示す。具体的に言うと、図５の例示的符号化方法は、１６×１６ブロックの分解（実例として図３に図示）を介する階層的動き検索を有利に実施する。] 図３ 図５
[0026] まず、この流れ図のブロック５１で、１６×１６ブロックを符号化のために選択する。次に、この流れ図のブロック５２で、階層の１レベル（例えば、図３に示された）を最高レベル（１６×１６ブロック自体を含む）から開始し、その後、２分割ブロック（即ち、８×１６及び１６×８）に「下」に反復するなどして選択する。次に、この流れ図のブロック５３で、階層レベル内の次のサブブロックを選択する（階層の最高レベルが、１つのそのようなサブブロックだけを有するが、全ての下位レベルが複数のそのようなサブブロックを有することに留意されたい）。この形で、１６×１６ブロックが最初に選択され、その後、例えば、上側８×１６ブロック及びその後に下側８×１６ブロックが選択され、その後、例えば、左端１６×８ブロック及びその後に右端１６×８ブロックが選択されるなどである。] 図３
[0027] 次に、この流れ図のブロック５４で、最良の一致する動きベクトル及びそれに対応するＳＡＤが、例えば、図４に示された従来技術の手法からなるものとすることができる形で見つけられる。この流れ図のブロック５５で判定されるように、階層の現在分析されているレベルにまだサブブロックがある場合には、このプロセスは、流れをこの流れ図のブロック５３に戻すことによって、次のサブブロックについて繰り返す。階層の現在分析されているレベルにサブブロックがもうない（とこの流れ図のブロック５５で判定される）場合に、そしてこの流れ図のブロック５６によって判定されるように、階層にまだレベルがある場合には、このプロセスは、流れをこの流れ図のブロック５２に戻すことによって、次のレベルについて繰り返す。] 図４
[0028] 階層にレベルがもうない（とこの流れ図のブロック５６によって判定される）場合には、図５の例示的プロセスは、この流れ図のブロック５７で、検索結果に基づいて、最初に選択されたブロックを符号化する。しかし、従来の形で、他の符号器判断に基づいて、インターコーディングではなくイントラコーディングを、最初に選択されたブロックを符号化するために選択することができることに留意されたい。最後に、この流れ図のブロック５８で、本発明の原理及び本発明の例示的実施形態に従って、動き階層の結果（即ち、メタデータ）が有利に効率的に符号化され、保存される。このメタデータは、実例として、有利なことに、動き階層検索の完全な結果からなるが、このメタデータを、この流れ図のブロック５７で行われる最初に選択されたブロックに関するコーディング判断（例えば、イントラコーディング対インターコーディング）に関わりなく保存することができることに留意されたい。図４に示されたものなどの通常の従来技術の符号器は図５の方法のステップをも実行することができるが、この流れ図のブロック５８に示されているように検索結果を保存はしないはずであることにも留意されたい。] 図４ 図５
[0029] 図６に、本発明の例示的実施形態による、第１のビデオ符号化プロセスから生成されたメタデータ結果を使用する後続のビデオ符号化プロセスを実行する方法を示す。まず、この流れ図のブロック６１に示されているように、符号器は、符号化すべき１６×１６ブロックを選択する。次に、この流れ図のブロック６２に示されているように、本発明の原理に従い、また、例えば図５に示された例示的符号器の使用に従って有利に保存されたそのブロックの動き階層情報（即ち、メタデータ）を取り出す。次に、この流れ図のブロック６３に示されているように、最小のＳＡＤを有する動きベクトルを見つけ（最初の反復について）、あるいは、各後続反復では連続してより大きい値（即ち、次に最小のＳＡＤ）を見つける。次に、この流れ図のブロック６４に示されているように、新しいＳＡＤを現在の符号化ヒストリに基づいて計算する。ＳＡＤのこの値は対応する保存された値と同一である可能性が低いが、有利なことに、同一の動きベクトルを与えられればしばしば保存された値（即ち、オリジナルＳＡＤ）に非常に近いことに留意されたい。] 図５ 図６
[0030] 次に、この流れ図のブロック６５では、（新たに）計算されたＳＡＤ値を閾値ｖ（ｖは、例えば、サブブロック内のピクセル数即ちｖ＝２εである）と比較する。ＳＡＤ値が閾値ｖ未満であると判定される場合には、動きベクトルが、この流れ図のブロック６６で、選択された１６×１６ブロックを符号化するのに使用される。ほとんどの場合に、特にビットレートが実質的に変更されていない場合に、最初に選択された動きベクトルは、実際に、最もよく一致し、従って、関連する新たに計算されたＳＡＤは実際に閾値ｖ未満になり、従って１６×１６ブロックの符号化に使用されることに留意されたい。その一方で、閾値を超える（即ち、この流れ図のブロック６５で、新たに計算されたＳＡＤが閾値ｖ以上であると判定される）場合には、この流れ図のブロック６７で、符号器はチェックすべき格納された動きベクトルがまだあるかどうかを確かめる。まだある場合には、符号器はこの流れ図のブロック６３にループバックして、階層内で次に最小のＳＡＤを有する動きベクトルを選択する。そうでない場合には、メタデータの検索が断念され、この流れ図のブロック６８で、従来の動き検索が新たに実行される。]
[0031] 本発明の１つの代替の例示的実施形態によれば、図６に示された例示的符号器の流れ図で実行される、現在の検索からの動きベクトルを、後続符号化での使用のために有利に保存することができる。即ち、最初にビットレートｂ１で符号化し、次にビットレートｂ２で再符号化した場合に、ｂ２からの動きベクトルやｂ１からの動きベクトルを、ビットレートｂ３での再符号化に有利に使用することができる。この戦略が、ビットレートｂ１＞ｂ２＞ｂ３について最もよく働く可能性が高いことに留意されたい。] 図６
[0032] 本発明のもう１つの例示的実施形態によれば、図６の例示的符号器を、より大きい一致がテストに合格しない可能性が高いと仮定して、ＳＡＤがある閾値（例えば、２０）未満である時にのみ検索するように変更することができる。数千個のＳＡＤ値が通常の動き検索で計算されるので、検索の早すぎる打ち切りは大した最適化にならない可能性が高い。また、従来の動き検索が、最終的に格納された検索と同一の範囲に及ぶ可能性が高く、これによって全ての節約が除去される。] 図６
[0033] 本発明のもう１つの例示的実施形態によれば、図６の例示的符号器を、保存された動き検索を伝統的な動き検索での初期ターゲットブロックであると考えるのみになるように変更することができる。言い換えると、図６の例示的符号器は、ブロック６８が、格納された結果が最初に検索されたターゲットブロックであるかのように符号器が従来の動き検索を継続することを指定するブロックに置換されることを除いて、図示の通りに進行するはずである。] 図６
[0034] 本発明のさまざまな例示的実施形態によれば、本明細書で説明されるＭＢＲ符号器を複数の例示的シナリオで有利に使用することができる。本発明の１つの例示的実施形態による１つのそのようなシナリオでは、単一のビデオ符号器が、ビデオの全ての符号化されたコピー（即ち、さまざまなビットレートの符号化されたビデオ信号）を生成するのに使用されるが、後続の追加の符号化されたコピーを生成するのに、１つ以上の以前の生成からの格納されたメタデータを有利に使用する。本発明の別の例示的実施形態による第２のシナリオでは、第１の符号器が、ビデオの第１の符号化されたコピーを生成するのに使用されるが、第２の符号器が、追加の符号化されたコピーを生成するのに使用される。]
[0035] この第２の例示的シナリオを、モバイル無線ネットワークにまたがって送信されるビデオ信号に関連して有利に使用することができる。そのようなネットワークでは、無線ネットワーク制御装置と無線基地局（ＢＴＳ）との間の「バックホール」リンクが帯域幅制限されるが、通常、全てのトラフィックがモバイル端末への途中でそのリンクを介して送信される。変更されたＢＴＳが、ローカルストレージと、コンテンツをバックホールリンクをトラバースさせずに直接モバイル端末に配送する能力とを有する技法が以前に提案されたが、単一のユーザを満足させるために送信されるデータの量は、全てのコピーがバックホールを介してプリエンプティブに送信されるのであれば、実際にはＭＢＲビデオが要求される場合により多い。しかし、本発明の例示的実施形態によれば、メタデータを伴う符号化されたビデオの単一のコピーを、変更されたＢＴＳにバックホールリンクを介して有利に送信することができ、ビデオの追加の符号化されたコピーを、その後、異なるビットレートで（ローカルに）生成することができる。この形で、ＢＴＳとモバイル端末との間のエアインターフェースについて非常に効率的なＭＢＲビデオコーデックをバックホールリンクについても効率的にすることができる。この技法が、通常はビデオごとに要求されるバックホールのおおむね５０〜７０％を節約するはずであることに留意されたい。本発明の原理によるメタデータの使用がなければ、変更されたＢＴＳは、毎日それに送信される多数のビデオに対してフルビデオ符号化を行うという追加の重荷を有し、より実用的でなくなるはずである。しかし、本発明の上で説明した例示的実施形態によれば、ネットワーク帯域幅は変更されたＢＴＳ上のＣＰＵサイクルに関して有利にトレードオフされる。]
[0036] 本発明の原理の他の使用が、無線を介するビデオ及びＩＰネットワークを介するビデオアプリケーションが発展するにつれて重要になり得ることに留意されたい。というのは、本発明の原理が、ビデオを記録できるが現在はＭＢＲビデオの符号化に必要な計算能力を有しない可能性があるデバイスの増加する個数に対処するからである。例えば、本発明の１つのそのような例示的実施形態によれば、ビデオ対応セル電話機は、有利なことに、ビデオを記録し、ローカルＢＴＳにアップロードすることができ、このローカルＢＴＳが、その後、複数のコピーを生成する。そのような手法では、逆方向リンク帯域幅及びセル電話機上のＣＰＵサイクルに対するＭＢＲビデオの影響は有利に減らされている。ローカルＢＴＳ又はある他のネットワーク要素は、その後、オリジナルビデオを処理して、適当なＭＢＲビデオコピーを生成することができる。]
[0037] 最後に、一般に、本発明の原理が、帯域幅とＣＰＵサイクルとをトレードオフする柔軟性を伴ってこの２つを有利に減らし、さらに、単に並列の別々の符号器を動作させることなく、符号化プロセスをさまざまなデバイスに「任意に」有利に分散させることに留意されたい。具体的には、通常、メタデータは有利なことにビデオデータの複数のコピーよりはるかに少ない帯域幅を消費し、さらに、本発明の原理は、より以前の符号化によって既に実行された重複する計算を除去することによって、後続符号化で実行される符号化プロセスを有利に高速化する。]
[0038] 詳細な説明の補遺
先行する議論の全てが、単に本発明の全般的な原理を例示するものであることに留意されたい。当業者であれば、本明細書では明示的に説明されず、図示されてはいないが、本発明の原理を実施し、本発明の趣旨及び範囲に含まれるさまざまな他の配置を考案できることを了解されたい。さらに、本明細書で列挙された全ての例及び条件付きの表現は、特に、当技術を促進するために本発明人によって貢献される本発明の原理及び概念を読者が理解するのを助けるための教育的目的のみであることを主に意図され、そのような具体的に列挙された例及び条件に対する限定を伴わないものとして解釈されなければならない。さらに、本発明の原理、態様、及び実施形態、ならびにその特定の例を列挙する本明細書の全ての陳述は、その構造的同等物と機能的同等物との両方を含むことが意図されている。また、そのような同等物が、現在既知の同等物ならびに将来に開発される同等物、即ち、構造に関わりなく同一の機能を実行する、開発される全ての要素の両方を含むことが意図されている。]

权利要求:

請求項1
対応する複数の異なるビットレートでビデオソース信号の複数のビデオ符号化を生成する方法であって、（ａ）第１ビットレートで前記ビデオソース信号の前記複数のビデオ符号化の第１の１つを生成するステップであって、前記ビデオ符号化の前記第１の１つの前記生成が、（ｉ）ビデオ符号器による使用のために第１の符号化されたビデオ信号を生成するステップ、及び（ｉｉ）前記第１の符号化されたビデオ信号の前記生成中に導出されるメタデータを生成し、格納するステップであって、前記メタデータは前記第１の符号化されたビデオ信号に含まれない、ステップを備える、ステップ、及び（ｂ）前記第１ビットレートとは異なるビットレートで前記ビデオソース信号の前記ビデオ符号化の後続の１つを生成するステップであって、前記ビデオ符号化の前記後続の１つの前記生成は前記ビデオソース信号及び前記格納されたメタデータに基づく、ステップを備える方法。
請求項2
請求項１記載の方法であって、前記ビデオソース信号の前記複数のビデオ符号化が、それぞれ、ブロックベースの動き補償付きビデオ符号化技法を使用して実行され、前記メタデータがブロック動き検索情報を備える方法。
請求項3
請求項２記載の方法であって、前記ブロック動き検索情報は動きベクトル及びこれに関連する対応する誤差情報を備える方法。
請求項4
請求項１記載の方法であって、前記複数のビデオ符号化が３つ以上のビデオ符号化からなり、前記ビデオソース信号の前記ビデオ符号化の前記後続の１つが第２ビットレートでの前記ビデオソース信号の前記ビデオ符号化の第２の１つからなり、前記ビデオソース信号の前記ビデオ符号化の前記第２の１つが、（ｉ）ビデオ復号器による使用のために第２の符号化されたビデオ信号を生成するステップ、及び（ｉｉ）前記第２の符号化されたビデオ信号の前記生成中に導出される追加メタデータを生成し、格納するステップであって、前記メタデータは前記第２の符号化されたビデオ信号に含まれない、ステップからなる前記方法において、前記第１ビットレートとは異なり、前記第２ビットレートとは異なるビットレートで前記ビデオソース信号の前記ビデオ符号化の第３の１つを生成するステップをさらに備え、前記ビデオ符号化の前記第３の１つの前記生成は前記ビデオソース信号及び前記格納された追加メタデータに基づく方法。
請求項5
第１ビットレートでビデオソース信号の第１のビデオ符号化を生成する方法であって、前記第１のビデオ符号化は前記第１ビットレートとは異なる１つ以上の対応するビットレートで前記ビデオソース信号の１つ以上の後続ビデオ符号化を実行する際に使用される、方法において、ビデオ復号器による使用のために第１の符号化されたビデオ信号を生成するステップ、及び前記第１の符号化されたビデオ信号の前記生成において導出されたメタデータを生成し、格納するステップであって、前記メタデータは前記第１の符号化されたビデオ信号に含まれず、前記メタデータが前記ビデオソース信号の前記１つ以上の後続ビデオ符号化の前記実行において使用される、ステップを備える方法。
請求項6
請求項５記載の方法であって、前記ビデオソース信号の前記第１のビデオ符号化はブロックベースの動き補償付きビデオ符号化技法を使用して実行され、前記メタデータがブロック動き検索情報を備える方法。
請求項7
請求項５記載の方法であって、前記ビデオソース信号の前記１つ以上の後続ビデオ符号化の実行における使用のために通信チャネルにまたがって前記メタデータを送信するステップをさらに備える方法。
請求項8
指定されたビットレートでビデオソース信号の後続ビデオ符号化を生成する方法であって、前記後続ビデオ符号化は前記指定されたビットレートとは異なるビットレートで実行された前記ビデオソース信号の以前に実行されたビデオ符号化に基づき、前記ビデオソース信号の前記以前に実行されたビデオ符号化はビデオ復号器による使用のために第１の符号化されたビデオ信号を生成し、さらに、前記第１の符号化されたビデオ信号の前記生成中に導出されたメタデータを生成し、格納しており、前記メタデータは前記第１の符号化されたビデオ信号に含まれない方法において、前記ビデオソース信号及び前記格納されたメタデータに基づいて前記ビデオソース信号の前記後続ビデオ符号化を生成するステップを備える方法。
請求項9
請求項８記載の方法であって、前記ビデオソース信号の前記後続ビデオ符号化はブロックベースの動き補償付きビデオ符号化技法を使用して実行され、前記メタデータがブロック動き検索情報を備える方法。
請求項10
請求項８記載の方法であって、前記ビデオソース信号の前記以前に実行されたビデオ符号化を実行した符号器から通信チャネルを介して前記メタデータを受信するステップをさらに備える方法。